home *** CD-ROM | disk | FTP | other *** search
/ Aminet 34 / Aminet 34 (2000)(Schatztruhe)[!][Dec 1999].iso / Aminet / comm / tcp / GetAllHTML.lha / GetAllHTML.doc < prev    next >
Text File  |  1999-10-16  |  15KB  |  321 lines
  1. GetAllHTML v0.65ß  Copyright 1998-9 Christoper S Handley
  2. ========================================================
  3. Latest News
  4. -----------
  5. I HAVE CHANGED MY EMAIL ADDRESS!
  6.  
  7. NOTICE!  If you have emailed me but got no reply, it may be because I lost your
  8. only email in a program crash :( .  Please get in touch!
  9.  
  10. Should now work on even more HTML pages due to minor improvements.  Added the
  11. NOBASEINDEX switch.  Minor speed-up, especially for RESUME.  Removed author
  12. info, as was pointless.
  13.  
  14. A fix I did in v0.61 was actually wrong - undone so that all downloading should
  15. work properly now.  Also improved BROKENLINKS & other minor things.  I actually
  16. had time to test this release, so it should work pretty well! :-)
  17.  
  18. Introduction
  19. ------------
  20. Have you ever visited a cool web site & wanted to keep a copy of some/all of it,
  21. but it would takes ages to find & download all the respective pages/files?
  22.  
  23. This is the answer!
  24.  
  25. You supply this ARexx script with the start page URL, and a destination
  26. directory (which should be empty), and maybe a few other options - and off it
  27. goes!  Note that it needs HTTPResume v1.3+ to work (get from Aminet).
  28.  
  29. The idea for this came from a PC Java program called PageSucker - sadly it is
  30. over 1Mb in size & buggy (& can't be run on the Amiga, yet!).  Although my
  31. implementation may not have quite as many features, it is does do the job quite
  32. fast, & has relatively low memory overheads.
  33.  
  34. Requirements
  35. ------------
  36.  o HTTPResume v1.3+ (but v1.7 is recommended!)
  37.  
  38.  o An Amiga capable of running ARexx programs
  39.  
  40.  o Libs:Rexxsupport.library
  41.  
  42.  o Modem with TCP/IP stack (like Genesis, Miami, or AmiTCP)
  43.  
  44. Usage
  45. -----
  46. 1.Before running it for the first time you must (text) edit (say using C:ED) it
  47. to know where your copy of HTTPResume is located.  Go to line 19 where it says:
  48.     HTTPResume='Programs:Utils/Comms/HTTPResume'
  49. Alter the file path between the 'quotes' to where you keep HTTPResume, and save.
  50.  
  51. 2.Run your TCP/IP stack (e.g.AmiTCP/Genesis or Miami).
  52.  
  53. 3.Run it from a Shell using:
  54.  
  55.     Sys:RexxC/Rx GetAllHTML arguments
  56.  
  57. Where the arguments are:
  58.  
  59. "URL"/A, "DestDir"/A, NOASK/S, ARC/S, PIC/S, RESUME/S, PAUSE/S, DEPTH=/N/K,
  60. NOBASEINDEX, PORT=/K, BASEURL=/K, BROKELINKS/S
  61.  
  62. Note - The destination dir must be empty of any previous attempt at downloading
  63. that web page (unless using the RESUME switch).  And that both URL & DestDir
  64. *must* be enclosed in "double quotes" - and that the BASEURL must NOT be
  65. surrounded by quotes!
  66.  
  67. *Note* you may have several GetAllHTMLs & HTTPResumes running at the same time
  68. (not on the same URL!), and that if you use the PORT argument then you will need
  69. HTTPResume running first.
  70.  
  71. See the file GetAllHTML_ex.script for an example usage - it will download all of
  72. Squid's on-line artwork (hope he gets a few more sales of his wonderful 'other
  73. world' artwork from this :-).
  74.  
  75. Behaviour
  76. ---------
  77. It's default behaviour is to find all links in each HTML page, and download them
  78. if:
  79.  
  80. -the URL path is a sub-directory of the original URL path; this stops
  81. downloading irrelevant pages on different topics, different servers, etc.., AND
  82.  
  83. -if they are HTML pages (name ends in .html, etc), OR
  84.  
  85. -if not HTML pages then it will ask if the file should be downloaded; if answer
  86. does not begin with an "n" then it does (download).  If the file has the same
  87. suffix as the last positively confirmed download, then intelligently assumes
  88. should download...
  89.  
  90. This behaviour is modified by various switches:
  91.  
  92. RESUME    - Should downloading of pages have been interupted (maybe a crash), run
  93.     GetAllHTML with *exactly* the same options, except with this switch too.
  94.     It will take a while to reach the same place as all previous HTML pages
  95.     must be scanned - and some additional memory usage is incured.
  96.  
  97.      I suggest you don't go on-line until it has reached the previously
  98.     interupted point (it wait for you to press return).
  99.  
  100.     *NOTE* that this mode is flawed due to the way GetAllHTML.rexx works,
  101.     so that it will sometimes think it has reached the previously finished
  102.     point, when it has not in fact.  Still RESUME is very useful!  And an
  103.     AmigaE version would fix this.
  104.  
  105. PIC    - Will identify links to pictures & download them rather than ask.
  106.  
  107. ARC    - Will identify links to archives & download them rather than ask.
  108.  
  109. NOASK    - Do not ask user if should download a file, assume should not.
  110.  
  111. PAUSE   - DO ask user to "press <return>" if we get an empty URL or couldn't
  112.     download a file.  Always asked to by the RESUME function.
  113.  
  114. TERSE    - Only outputs very important text, so it won't report strange URLs,
  115.     failure to download files, non-http links, etc...
  116.  
  117. PORT    - Supplies the ARexx port of a *running* HTTPResume; if supplied then
  118.     does not try to launch HTTPResume from AmigaDOS.  See *Note* below.  If
  119.     no port name is supplied then it sees if the current ARexx port is
  120.     already set to some HTTPResume - if not then an error is generated, else
  121.     it just uses that port.
  122.  
  123. DEPTH    - This allows you to specify how many URL links to follow in sequence;
  124.     i.e.the depth of the search.  DEPTH=2 means download only the links from
  125.     the original page, and so on for DEPTH=3, etc..  See *Note* below.  If
  126.     no number is supplied then the user is asked for a number.
  127.  
  128. NOBASEINDEX - This prevents GetAllHTML from following links to the index of the
  129.     original URL path.  Is useful for web sites which are fairly 'flat'
  130.     (ie.do not have many sub-directories), which also have banners at the
  131.     top of pages to take you straight to the site's main page (which will
  132.     has links you are not interested in).  Probably very rarely needed.
  133.  
  134. BASEURL - This allows you to override the semi-intelligent default, and tell
  135.     GetAllHTML the base URL - that is, what the URL must start with for it
  136.     to even consider downloading it.  This is useful if you wish to download
  137.     from a particular page deep down the directory structure, but which
  138.     references images (or maybe pages) that are further up.
  139.  
  140. BROKENLINKS - This causes attempted downloading of pages that are not
  141.     sub-directories of the original URL.  These will be downloaded to "T:"
  142.     (which is usually "RAM:T") & then deleted.  If download failed then you
  143.     will be told that there was a broken link.  See suggested uses below.
  144.  
  145. *Note* that both DEPTH & PORT must be followed by an equals sign ("=") and then
  146. the data, _without_ any spaces between anything.  This is due to a limitation of
  147. ARexx, for which an AmigaE version would fix.
  148.  
  149. Suggested uses
  150. --------------
  151. 1.There's a big web site with lots of pictures/music/archives/information that
  152. interests you.  Depending on what you want, you will need to use the PIC, ARC,
  153. and NOASK switches.
  154.  
  155. For instance, if you are only interested in pictures then use PIC & NOASK.  If
  156. you are only interested in archives then use ARC & NOASK.  If you are interested
  157. in something else than pictures or archives (in addition to the web pages), then
  158. don't use any of those three switches - GetAllHTML will ask you if something
  159. should be downloaded.
  160.  
  161.  
  162. 2.You have your own home-page on the web, and it includes lots of links to other
  163. sites for which take hours to check they are all valid.  Point GetAllHTML at
  164. your web site with the BROKENLINKS switch.  Note will never try to download a
  165. link twice, even withOUT using RESUME.
  166.  
  167. In fact, if you have your web site in a directory on your HD, then you could
  168. RESUME with that directory as your download directory; this will be MUCH faster
  169. since none of your pages will (or should) be downloaded :-)) .  First time you
  170. try this, do it on a back-up copy to ensure GetAllHTML does not do anything
  171. strange (I won't be held responsible for extra files 'magically' appearing!)..
  172.  
  173. 3.I haven't tried this out myself, but it should be really cool:
  174.  
  175. If you have a favourite news page then you can use GetAllHTML to download just
  176. the latest news.  Suggest use NOASK, possibly with PIC if you want pictures too.
  177. You will obviously need to delete (or rename) the main news-page file, to force
  178. GetAllHTML to download the latest index which contains links to the new news.
  179.  
  180. I don't think you need to use RESUME, but...
  181.  
  182.  
  183. Any other ideas?
  184.  
  185. Bugs & other unwelcome features
  186. -------------------------------
  187.  o The RESUME feature *may* cause some files to be missed, but this depends on
  188. how ARexx treats funny characters for variable names.  An AmigaE version would
  189. fix any problems.
  190.  
  191.  o Interpretation of the HTML & URLs is based on observation rather than any
  192. specification of these standards - thus there will probably be rare cases in
  193. which it may misinterpret them; as long as these are reported (along with the
  194. responsible HTML file(s)), fixes will probably be forth coming.
  195.  
  196. But it really seems to work fine for the sites I have tried :-)
  197.  
  198.  o You cannot go above a depth of 42; this is to protect against an ARexx
  199. limitation which will cause problems above a depth of about 45.  An AmigaE
  200. version would fix this.
  201.  
  202. Technical info
  203. --------------
  204. GetAllHTML uses a depth-first tree search, via recursion, and uses the existance of
  205. (downloaded) files as a super-fast (for ARexx!) record of whether a page has
  206. been visited or not.
  207.  
  208. When RESUMEing, existance of files cannot be used to record if a page has been
  209. visited, so an alternate method is used - this is slower, and could fail with
  210. certain combinations of strangely named URLs (very unlikely); a far slower
  211. method would avoid this, but was considered unnecessary.
  212.  
  213. I used the INTERPRET command to do some magic with ARexx to make the arbitarily
  214. long linked-lists (really branches) possible - they were required for storing
  215. what pages have been visited.  Although this method is not very memory efficient
  216. (many duplicate entries of the same URL), it is quite fast - and more
  217. importantly it *works* in ARexx.  I had thought it would be virtually impossible
  218. to make arbitarily extended link-lists in ARexx, but the interpretive nature of
  219. ARexx means you can effectively create ARexx commands on-the-fly.
  220.  
  221. Future
  222. ------
  223. Little development of the *ARexx* version of GetAllHTML is likely - my efforts
  224. are now on the super-fast AmigaE version:  This will vastly speed-up RESUMEing,
  225. use far less memory & CPU usage, and may even give substantial speed-ups to
  226. normal operations as well (as the time between downloading files will be reduced
  227. to almost nothing).  I hope it will eventually support multiple downloads at
  228. once, to minimise the total download time.
  229.  
  230. Do not expect the AmigaE version any time soon, as my work on the base classes
  231. that it & other programs will use is taking a long time (too little spare time
  232. to work on them).  Sorry.
  233.  
  234. Note that I do not recommend anyone uses my ARexxComm module (on Aminet), as
  235. since reading the official ARexx docs I realised my module is extremely limited
  236. - although I have plans for a kick-ass replacement.  Hardly started programming
  237. it though.
  238.  
  239. About the Author
  240. ----------------
  241. NOTE MY EMAIL ADDRESS HAS CHANGED!
  242.  
  243. My name is Christopher S Handley, aged 22, my (permanent) email address is
  244. Chris.S.Handley@Talk21.com.  You don't really want to know about me do you?
  245.  
  246. Contacting the Author
  247. ---------------------
  248. Email: Chris.S.Handley@Talk21.com
  249.  
  250. You may still be able to reach me on my old email address
  251. (Chris.S.Handley@BTInternet.com) for a short while.
  252.  
  253. If I cannot be reached by that email address, in an emergency I may be reached
  254. at Chris.S.Handley@eva01.freeserve.co.uk but I usually only check this maybe
  255. once every few months!
  256.  
  257. I am not yet sure about giving my snail mail address to all & sundry - sorry
  258. about that :-(I know how I felt when people did that before I had email access).
  259.  
  260. Thanks to
  261. ---------
  262.  o Andrija Antonijevic for HTTPResume
  263.  
  264.  o the Amiga community for sticking with the Amiga, and continuing to innovate.
  265.   Give your backing to KOSH (originally proposed by Fleecy Moss).
  266.  
  267.  o CU Amiga for becoming the greatest Amiga mag over the last year, before
  268.   passing away.  I did not like AF's Xmas issue at all (and AF didn't appear to
  269.   like my criticism of it either...)
  270.  
  271.  o whoever design the Rexx language - Rexx is great for 'user utilities'.
  272.  
  273. History
  274. -------
  275. v0.65ß (16-10-99) - Now searches from "HREF=" not "<A HREF=" which will give
  276.             dramatic improvement on some pages!  Rewrote how "./"s are
  277.             interpreted, which seems to be much better (perfect?).
  278.             Added the NOBASEINDEX switch.  Removed uses of Translate()
  279.             since it was doing nothing - so a small speed-up (esp.for
  280.             RESUME).
  281. v0.64ß (04-04-99) - Put back the 'extra' END that I removed in v0.61 .  Now
  282.             BROKENLINKS will always only try to download external links
  283.             once.  Removed NOENV argument of HTTPResume so proxy
  284.             settings may work.  Minor changes.
  285. v0.63ß (04-04-99) - Removed spurious non-visible ASCII (27) characters that
  286.            caused some text editors to go loopy.
  287. v0.62ß (03-04-99) - Add the BROKENLINKS switch.  Replaced NOPAUSE by PAUSE
  288.            switch.  Now always warns if a file could not be downloaded
  289.            (not just pages).  If you used all the arguments then it
  290.            would miss the last one.
  291. v0.61ß (28-03-99) - Possible fix for RESUME problem done, plus stupidly left an
  292.            extra END where it broke GetAllHTML.
  293. v0.60ß (27-03-99) - First stand-alone Aminet release.  Damn!  There were 3 big
  294.            mistakes...  (a)some files expected as directories,
  295.            (b)local-path expansion was too complex & probably wrong
  296.            (hope right now), (c)implicit InDeX.hTmL files were not
  297.            scanned for files.  Also asked user to press return but
  298.            really wanted a key first!
  299. v0.55ß (14-12-98) - Damn!  All this fast programming has introduced some bugs,
  300.            but they are fixed now; included the "~" interpretation was
  301.            completely wrong (removed), and fixed a long standing bug
  302.            where a URL beginning with a slash was mis-understood.  Also
  303.            added the BASEURL feature which is really useful sometimes.
  304. v0.54ß (12-12-98) - Given I couldn't download the KOSH pages (www.kosh.net), I
  305.            added basic frame support, and fixed a long standing bug
  306.                    where root html pages could appear as empty directories!
  307.            Two more long standing bugs fixed (ARC & PIC switches had
  308.            inverted sense).  Add fix for paths with "~" in, so will
  309.            align path correctly.  Add semi-intelligence so that won't
  310.            ask about downloading a file with the same suffix as the
  311.            last file that was confirmed.  Add the TERSE function.
  312. v0.53ß (10-12-98) - The DEPTH feature now works, added the PORT feature,
  313.            added the NOPAUSE feature.  Fixed long standing bug of NOASK
  314.            not being recognised.  Now removes text in URL after "?"s.
  315. v0.52ß ( 8-12-98) - Basically update documentation ready for it's first Aminet
  316.                    release, for when packaged along with HTTPResume.  Added an
  317.            untested DEPTH feature in the special v0.52aß.
  318. v0.51ß (??-??-98) - Internal speed-up (may be much faster downloading small pages)
  319.                   - minor fix of arguments given to HTTPResume
  320. v0.5ß  (??-??-98) - Initial release to a few people.  No bugs, honest =:)
  321.